昨天，我們實際在 MacBook 上把模型跑了起來。

分別測試了 llama.cpp 與 MLX 兩種推論方式，也開始建立對 Apple Silicon 本地推論的基本認識。至於 GX10 上要採用哪一套推論架構，我打算留到後面的文章再補上。

今天先往下一步前進：

把一個「會聊天的模型」，變成一個「能執行任務的 Agent」。

而在開始做 Agent 之前，我遇到的第一個問題其實不是 Framework，也不是 Tool Calling，而是：

到底該選哪一個模型？

昨天我們比較在意的是「這個模型能不能在我的電腦裡跑起來」；今天開始，條件要再加上一層：

它除了跑得動，還必須能把我要做的工作做好。

我的 Agent 到底要做什麼？

這次鐵人賽的方向，不是做一個單純可以問答的 Chatbot，而是希望最後可以做出一個能搭配 Skill 執行日常任務的 Agent。

我希望未來可以把自己的工作流程整理成一份一份 Skill，例如：

• 收到一份 Excel 後，先讀取指定工作表，再產生分析結果。
• 根據既有 Word 範本整理報告，而且不能破壞原始格式。
• 把分析結果整理成 PowerPoint。
• 讀取 PDF 或圖片後，擷取資訊並整理成文件。
• 必要時查詢少量網路資料，再加入報告。
• 任務完成後，把產出的檔案存到指定目錄。

如果把需求整理一下，大致可以得到下面幾點：

• 我要開發可以遵循 Skill 的 Agent。
• 會有多輪對話的指引。
• 要可以解讀圖片、PDF、Word、Excel。
• 要可以做簡單的電腦資料操作，例如新增檔案。
• 要可以編輯、撰寫 Word、Excel、PowerPoint。
• 需要少量網路查詢能力。

到這裡就可以發現，我真正需要的能力，跟單純比較模型「會不會數學」或「知識量大不大」其實不太一樣。

因此今天的問題變成：

有哪些 Benchmark，是真的跟這種 Skill Agent 高度相關？

很多模型發布時都會列出一長串 Benchmark，例如 MMLU、GPQA、FrontierMath、ARC-AGI 等。

這些指標當然有價值，但如果今天我要做的是 Agent，單純推理能力並不足以代表模型適不適合。

舉例來說，一個模型即使 FrontierMath 很高，也不代表它能正確做到：

讀取 Excel
→ 找指定 Sheet
→ 不修改原始檔
→ 建立副本
→ 更新資料
→ 再次開啟檔案驗證
→ 產生 Word 報告

因此，我把這次 Agent 選型相關的 Benchmark 收斂成九個。

1. OfficeBench：Office 工作流能力

如果我的 Agent 會大量碰 Word、Excel、PowerPoint，那 OfficeBench 幾乎是最直接相關的 Benchmark。

OfficeBench 不只測單一 Office 操作，而是要求 Agent 在不同應用程式間完成工作流，例如：

Excel → Word
Excel → PowerPoint
Word → Email
多個 Office Application 串接

它評估的重點包括：

• Long-horizon planning
• Application switching
• Office operation selection
• 多步驟任務完成能力

目前官方公開的 open-weight baseline 比較舊：

最有意思的是 Three Apps 任務。

即使是 70B 等級模型，三個應用程式串接後成功率仍然只有個位數。

這也說明了一件事情：

「會使用 Office」跟「能完成 Office 工作流」是兩個完全不同的難度。

不過 OfficeBench 的公開模型結果偏舊，所以我會把它當成重要的「測試方法」，之後很可能需要拿新模型自己重新跑一次。

資料來源：https://github.com/zlwang-cs/OfficeBench

2. BFCL V4：Tool Calling 與 Function Calling

接下來是我認為 Skill Agent 非常重要的一項：Berkeley Function Calling Leaderboard（BFCL）。

假設我的 Skill 定義：

1. 先讀取 Excel
2. 找到指定工作表
3. 建立副本
4. 修改副本
5. 修改後重新讀取驗證

模型不只要「看懂」，還必須知道：

• 現在應不應該呼叫 Tool？
• 要呼叫哪一個 Tool？
• Argument 要放什麼？
• 要依序呼叫還是平行呼叫？
• 沒有合適 Tool 時，能不能不要亂呼叫？

這就是 BFCL 的價值。

以目前公開資料來看，Qwen3.5-397B-A17B 的 BFCL-V4 分數為 72.9。

這個模型本身對我的硬體來說太大，但這個結果仍可以讓我知道：Qwen3.5 系列在 Tool Calling 能力上值得優先觀察。

需要注意的是，大模型家族分數不能直接等同於同系列小模型，所以未來實際使用 27B、35B 時還是要再測。

資料來源：

• https://gorilla.cs.berkeley.edu/leaderboard
• https://huggingface.co/Qwen/Qwen3.5-397B-A17B-FP8

3. AutomationBench：整個工作到底有沒有做完

BFCL 比較像是在看：

每一步 Tool Call 有沒有做對？

而 AutomationBench 更接近我真正關心的問題：

最後整件事情有沒有完成？

AutomationBench 的 public set 有 600 個任務，涵蓋：

• Sales
• Marketing
• Operations
• Support
• Finance
• HR

而且不是只看 Agent 的回答，而是檢查執行後系統的 final state。

例如：

讀取資料
→ 更新系統
→ 建立文件
→ 發送通知

前面三步都正確，但最後寄錯附件，任務一樣算失敗。

目前 public set 的部分公開結果：

這是一個很值得注意的數字：即使已經是 2026 年的前沿 Agent 模型，在完整 workflow 中仍然有大量任務無法一次成功完成。

對我的 Agent 來說，AutomationBench 的參考價值非常高。

資料來源：https://github.com/zapier/AutomationBench

4. OSWorld：真的操作一台電腦

我的 Skill 未來除了 API / Function Calling，也可能需要一些簡單電腦操作，例如：

建立資料夾
建立檔案
開啟文件
儲存結果
操作瀏覽器

這時候 OSWorld 就非常有參考價值。

OSWorld 是在真實電腦環境裡測 Agent，而且包含：

• Chrome
• LibreOffice Calc
• LibreOffice Impress
• LibreOffice Writer
• VS Code
• OS 操作
• Multi-app workflow

目前榜單中，可以看到一些相當高的結果：

不過這裡要特別小心。

OSWorld 測的是 Computer Use Agent，也就是模型透過畫面、滑鼠、鍵盤等方式操作軟體。

如果我最後的架構是：

LLM → MCP/API → Excel

那 OSWorld 的重要度會低一點。

如果是：

LLM → 看畫面 → 操作滑鼠鍵盤 → Excel

那 OSWorld 就會非常重要。

資料來源：https://os-world.github.io/

5. FollowBench：Skill 規則到底守不守得住

這可能是跟「Skill」兩個字最直接相關的 Benchmark 之一。

假設 Skill 裡面寫：

- 不得覆蓋原始檔
- Hidden Sheet 不可修改
- 公式必須保留
- 只能修改指定 Sheet
- 完成後必須重新讀取驗證

真正困難的地方不是理解其中任何一條，而是：

當規則變多時，模型能不能每一條都遵守？

FollowBench 就是在測這種 Fine-grained Constraint Following。

它使用幾種指標：

• HSR：所有 constraint 都滿足的比例
• SSR：個別 constraint 平均滿足比例
• CSL：可以連續通過多少層 constraint

FollowBench 的公開榜單主要仍是比較舊的 Llama 2、Qwen-Chat 等模型，因此我不打算直接拿那些舊分數決定 2026 年的模型選型。

但它的 dataset 與評估方法非常適合直接拿來測新的模型。

換句話說：

FollowBench 對我來說不是「看排行榜」，而是「下載回來自己跑」。

資料來源：https://github.com/YJiangcm/FollowBench

6. MultiChallenge：多輪對話不要聊到最後忘記前面

我的 Agent 不會所有任務都一次講完。

實際上很可能長這樣：

我：幫我分析這份 Excel。
Agent：要分析哪個月份？
我：八月。
Agent：要跟什麼比較？
我：去年同期。
Agent：輸出格式呢？
我：用剛剛提到的 Word 範本，而且不要覆蓋原始檔。

到了最後一輪，模型還需要記住：

八月
+ 去年同期
+ Word 範本
+ 不覆蓋原始檔

MultiChallenge 就是在測這類多輪對話中的：

• Instruction following
• Context allocation
• In-context reasoning
• Constraint retention

Qwen3.5-397B-A17B 公開的 MultiChallenge 分數為 67.6。

這類 Benchmark 對我的 Agent 很重要，因為 Skill 不一定只在第一輪生效，而可能要持續整個 conversation session。

資料來源：https://huggingface.co/Qwen/Qwen3.5-397B-A17B

7. GAIA：文件、工具、Web 與推理的綜合題

GAIA 比較像是一個 General Assistant 綜合測驗。

它的任務通常可能同時需要：

閱讀文件
+ 找資料
+ 使用工具
+ 網路搜尋
+ 推理
+ 最後整理答案

所以它跟我的需求也有相當大的重疊，尤其是：

• PDF
• 圖片
• 文件理解
• 少量 Web Search
• 多步驟任務

不過 GAIA 有一個很重要的限制：

榜單上的成績通常不只是 Model，而是 Model + Agent Scaffold + Tool。

也就是說，同一個模型如果換不同的 Agent Framework，分數可能會有明顯差距。

所以我會拿 GAIA 判斷：

這個模型適不適合組成一個 General Agent 系統？

而不是單純拿它比較 Base Model 智力。

官方 Leaderboard：https://gaia-benchmark-leaderboard.hf.space/

8. Terminal-Bench：本機檔案、CLI 與執行能力

昨天開始做本地推論之後，Terminal 類型的工作會越來越多。

例如：

mkdir reports
cp template.docx reports/
python analyze.py
mv output.xlsx reports/

未來 Agent 也可能需要：

• 找檔案
• 新增檔案
• 移動檔案
• 執行 Python
• 執行 CLI
• 檢查輸出
• 發生錯誤後重新修正

這些能力就很適合用 Terminal-Bench 評估。

目前 Terminal-Bench 2.1 中，一些 open-weight 模型已經有非常高的結果：

如果看前一版 Terminal-Bench 2.0，也有：

不同版本不能直接混在一起比較，但可以看出目前不少 open-weight 模型在 terminal agent 任務已經進步非常快。

資料來源：

• https://evals.report/benchmarks/terminal-bench
• https://evals.report/benchmarks/terminal-bench-2-0

9. WebArena / BrowseComp：少量網路查詢

我的 Agent 並不是以瀏覽器操作為主，所以 Web Benchmark 不會給太高權重。

但有些工作一定還是會遇到：

搜尋資料
→ 打開來源
→ 擷取內容
→ 回到本地文件整理

如果要測完整 Browser Agent，可以看 WebArena。

但如果只是偏向「搜尋與研究」，我反而會一起看 BrowseComp。

例如 Qwen3.5-397B-A17B 在官方 model card 中，BrowseComp 依不同 search / context-management 設定可以得到 69.0 / 78.6。

這也提醒了我另一件事：

Web Search 的表現跟模型本身有關，但也高度受到 Search Tool、Context Management 與 Agent Scaffold 影響。

資料來源：https://huggingface.co/Qwen/Qwen3.5-397B-A17B-FP8

九個 Benchmark 放在一起看

如果以我的需求來重新整理，大概會變成：

如果真的要做模型選型，我目前會先用這樣的權重：

BFCL                    20%
AutomationBench         20%
MultiChallenge          15%
OfficeBench             15%
FollowBench             10%
OSWorld                 10%
Terminal-Bench           5%
GAIA                     3%
WebArena / BrowseComp     2%

這個權重不是 Benchmark 官方標準，而是我依照自己的 Agent 使用情境做的工程判斷。

那到底哪些 Open-weight 模型值得我接下來測？

看完榜單後，如果完全不考慮硬體，目前可以看到幾個 Agent 能力很強的模型家族：

• Qwen 3.5 / 3.7 系列
• GLM 5.x 系列
• Kimi K2.6 / K3
• DeepSeek V4 系列
• MiniMax M3

但這時候又要回到昨天的現實問題：

我的機器跑不跑得動？

目前我手上的設備是：

MacBook Pro M3 Max
Unified Memory：64 GB

GX10
Memory：128 GB

而很多排行榜前面的模型，其實總參數規模非常大。

例如 Qwen3.5-397B-A17B 雖然每次推論只有約 17B activated parameters，但 MoE 的所有 expert 權重仍然需要被載入。所以它並不是「有 17B 記憶體就能跑」。

就算使用 4-bit 量化，397B 等級模型光權重理論值就接近 200 GB，還沒有計算 KV cache、runtime buffer 與其他額外記憶體，因此並不適合直接塞進 64 GB 或 128 GB 的單機環境。

同樣的情況也會發生在 Kimi K3、DeepSeek V4、GLM 大型旗艦版本等模型。

所以我的選模方式不能是：

排行榜第一名
＝
我要使用的模型

而應該是：

Agent Benchmark 表現
       ×
本地部署可行性
       ×
多模態能力
       ×
Tool Calling
       ×
記憶體需求
       ×
實際任務成功率

第一輪候選：先從 Qwen3.5 系列下手

以目前收集到的資料，我會優先從 Qwen3.5 系列開始做本地 Agent 測試。

原因有幾個：

1. Qwen3.5-397B-A17B 在 BFCL-V4 有 72.9，代表這個模型家族在 Function Calling / Agent 能力上值得關注。
2. MultiChallenge 有 67.6，符合我對多輪對話的需求。
3. Qwen3.5 本身包含 Vision Encoder，方向上符合圖片與文件理解需求。
4. 同一系列存在不同規模版本，比直接鎖定超大型旗艦模型更適合本地部署實驗。

因此之後可以優先考慮：

MacBook Pro M3 Max 64 GB

比較適合先測：

Qwen3.5 27B 級
Qwen3.5 35B-A3B 級

搭配 4-bit 量化後，會比較符合 64 GB unified memory 的使用情境，也能保留一定空間給 KV Cache、Agent Framework、Python 與 Office 文件處理程序。

這類模型也是我認為最適合當「日常開發機」的範圍。

GX10 128 GB

除了上述模型之外，可以再往上挑戰：

更高參數 Dense Model
或約 100B 級、經過量化的 MoE / Dense 模型

例如 Qwen3.5-122B-A10B 這種級距，就比 397B 旗艦版本合理許多。

不過「理論上放得進記憶體」並不代表「實際體驗就好」，還必須考慮：

• KV Cache
• Context Length
• Quantization format
• 推論 Framework
• CPU / GPU offload
• Token generation speed

這也會是之後 GX10 實測要處理的問題。

旗艦模型的分數仍然有價值

既然很多 Benchmark 排名前段模型根本無法在我的設備完整部署，為什麼還要看它們？

因為它們可以告訴我「哪一個模型家族值得往下找」。

例如看到：

Qwen3.5 旗艦模型
BFCL      72.9
MultiChallenge 67.6

我就可以優先測同系列較小模型。

同樣，如果：

GLM → Terminal-Bench 很強
Kimi → AutomationBench 很強
MiniMax → OSWorld 很強

未來只要這些家族推出可以在本地設備部署的小型版本，就會成為值得重新測試的候選。

所以 Benchmark 不是答案，而是一個 篩選方向。

參考資料

1. OfficeBench：https://github.com/zlwang-cs/OfficeBench
2. Berkeley Function Calling Leaderboard：https://gorilla.cs.berkeley.edu/leaderboard
3. Qwen3.5-397B-A17B Model Card：https://huggingface.co/Qwen/Qwen3.5-397B-A17B-FP8
4. AutomationBench：https://github.com/zapier/AutomationBench
5. OSWorld：https://os-world.github.io/
6. FollowBench：https://github.com/YJiangcm/FollowBench
7. GAIA Leaderboard：https://gaia-benchmark-leaderboard.hf.space/
8. Terminal-Bench 2.0 / 2.1：https://evals.report/benchmarks/terminal-bench
9. WebArena：https://webarena.dev/

註：本文整理時間為 2026 年 9 月。Agent Benchmark 更新速度很快，不同版本、Agent Scaffold、Tool 配置與 Reasoning Effort 都可能讓同一模型得到不同結果，因此本文分數主要用來做模型家族的初步篩選，而非跨 Benchmark 直接加總比較。